NICT LLM
https://www.nict.go.jp/press/2023/07/04-1.html日本語に特化した大規模言語モデル（生成AI）を試作
400億パラメータの大規模言語モデル（生成AI）をWebから収集した350 GBの日本語テキストを用いて開発
従来から利用していた高品質な日本語テキストを事前学習することで、約4か月で開発
現在1,790億パラメータのモデルも学習中。今後は民間企業、国研、大学等と共同研究等を通して更に発展
40B,179B
https://gyazo.com/a2347ea45c6ad30460b86aae35fc4798
#NICT